Graphons are general and powerful models for generating graphs of varying size. In this paper, we propose to directly model graphons using neural networks, obtaining Implicit Graphon Neural Representation (IGNR). Existing work in modeling and reconstructing graphons often approximates a target graphon by a fixed resolution piece-wise constant representation. Our IGNR has the benefit that it can represent graphons up to arbitrary resolutions, and enables natural and efficient generation of arbitrary sized graphs with desired structure once the model is learned. Furthermore, we allow the input graph data to be unaligned and have different sizes by leveraging the Gromov-Wasserstein distance. We first demonstrate the effectiveness of our model by showing its superior performance on a graphon learning task. We then propose an extension of IGNR that can be incorporated into an auto-encoder framework, and demonstrate its good performance under a more general setting of graphon learning. We also show that our model is suitable for graph representation learning and graph generation.
translated by 谷歌翻译
现代电力系统正在经历由可再生能源驱动的各种挑战,该挑战要求开发新颖的调度方法,例如增强学习(RL)。对这些方法以及RL药物的评估很大程度上受到探索。在本文中,我们提出了一种评估方法,以分析RL代理的性能在审查的经济调度方案中。这种方法是通过扫描多个操作方案来进行的。特别是,开发了一种方案生成方法来生成网络方案和需求方案进行评估,并且根据电力流的变化率汇总了网络结构。然后,定义了几个指标来从经济和安全的角度评估代理商的绩效。在案例研究中,我们使用经过改进的IEEE 30总线系统来说明拟议的评估方法的有效性,模拟结果揭示了对不同情况的良好和快速适应。不同的RL代理之间的比较也很有帮助,可以为更好地设计学习策略提供建议。
translated by 谷歌翻译
随时间变化数据的因果发现(CD)在神经科学,医学和机器学习中很重要。 CD的技术包括通常没有偏见但昂贵的随机实验。它还包括诸如回归,匹配和Granger因果关系之类的算法,这些算法仅在人类设计师做出的强烈假设下正确。但是,正如我们在机器学习的其他领域发现的那样,人类通常不太正确,通常比数据驱动的方法表现出色。在这里,我们测试是否可以以数据驱动的方式改善因果发现。我们采用了一个具有大量因果成分(晶体管),MOS 6502处理器和元学习的系统,该系统为神经网络代表的因果发现程序。我们发现,该程序的表现远远超过了人为设计的因果发现程序,例如相互信息和Granger因果关系。我们认为,因果关系领域应在可能的情况下考虑一种有监督的方法,其中从具有已知因果关系的大型数据集中学习了CD程序,而不是由人类专家设计。我们的发现有望在神经和医学数据以及更广泛的机器学习社区中采用新的CD方法。
translated by 谷歌翻译
大多数现有的插槽填充模型倾向于记住实体的固有模式和培训数据中相应的上下文。但是,这些模型在暴露于口语语言扰动或实践中的变化时会导致系统故障或不良输出。我们提出了一种扰动的语义结构意识转移方法,用于训练扰动插槽填充模型。具体而言,我们介绍了两种基于传销的培训策略,以分别从无监督的语言扰动语料库中分别学习上下文语义结构和单词分布。然后,我们将从上游训练过程学到的语义知识转移到原始样本中,并通过一致性处理过滤生成的数据。这些程序旨在增强老虎机填充模型的鲁棒性。实验结果表明,我们的方法始终优于先前的基本方法,并获得强有力的概括,同时阻止模型记住实体和环境的固有模式。
translated by 谷歌翻译
小型子图(Graphlets)是描述大型网络基本单元的重要特征。子图频率分布的计算在包括生物学和工程在内的多个领域中具有广泛的应用。不幸的是,由于该任务的固有复杂性,大多数现有方法在计算密集型且效率低下。在这项工作中,我们提出了GNNS,这是一个新颖的表示学习框架,该框架利用图神经网络有效地对子图进行了估算的频率分布。我们的框架包括一个推理模型和一个生成模型,该模型学习节点,子图和图形类型的层次结构嵌入。使用学习的模型和嵌入,以高度可扩展和并行的方式对子图进行采样,然后根据这些采样的子图执行频率分布估计。最终,与现有方法相比,我们的方法达到了可比的精度和显着的速度。
translated by 谷歌翻译
深神经网络实施了一系列逐层操作,每个操作都相对容易理解,但是总的总体计算通常很难理解。我们开发了一个简单的想法,可以解释有用表示的逐层结构:每一层的作用是重新格式化信息以减少目标输出的“距离”。我们通过利用最近的指标代表性相似性的工作来形式化“距离”的直观概念,并展示它如何导致几何概念的丰富空间。通过此框架,深度神经网络实施的层计算可以被视为高维表示空间中的路径。我们开发工具以在距离,角度和大地学方面表征这些几何形状。然后,我们提出在CIFAR-10训练的残留网络的三组问题:(1)路径的直线程度如何,以及每层对目标有何贡献? (2)这些特性如何在培训上出现? (3)更广泛的网络与更深的网络采取的路径有多相似?我们通过勾勒出其他方式来结论,这种代表性几何形状可用于理解和解释网络培训,或者规定改善网络体系结构以适合任务。
translated by 谷歌翻译
元学习用于通过组合数据和先验知识来有效地自动选择机器学习模型。由于传统的元学习技术缺乏解释性,并且在透明度和公平性方面存在缺点,因此实现元学习的解释性至关重要。本文提出了一个可解释的元学习框架,该框架不仅可以解释元学习算法选择的建议结果,而且还可以对建议算法在特定数据集中的性能和业务场景中更完整,更准确地解释。通过广泛的实验证明了该框架的有效性和正确性。
translated by 谷歌翻译
最近,使用批评者分配表示截断的分量批评者(TQC),显示在Mujoco连续控制基准套件的所有环境中提供最先进的渐近培训表现。此外,使用高更新到数据比和目标随机化的随机集合双Q学习(REDQ)达到了具有基于最先进的模型的方法竞争的高样本效率。在本文中,我们提出了一种新的无模型算法,具有集合(AQE)的激进Q学习,这提高了REDQ的样品效率性能和TQC的渐近性能,从而提供了整体最先进的性能在培训的所有阶段。此外,AQE非常简单,要求批评者的分布表示也不是目标随机化。
translated by 谷歌翻译
High order structures (cavities and cliques) of the gene network of influenza A virus reveal tight associations among viruses during evolution and are key signals that indicate viral cross-species infection and cause pandemics. As indicators for sensing the dynamic changes of viral genes, these higher order structures have been the focus of attention in the field of virology. However, the size of the viral gene network is usually huge, and searching these structures in the networks introduces unacceptable delay. To mitigate this issue, in this paper, we propose a simple-yet-effective model named HyperSearch based on deep learning to search cavities in a computable complex network for influenza virus genetics. Extensive experiments conducted on a public influenza virus dataset demonstrate the effectiveness of HyperSearch over other advanced deep-learning methods without any elaborated model crafting. Moreover, HyperSearch can finish the search works in minutes while 0-1 programming takes days. Since the proposed method is simple and easy to be transferred to other complex networks, HyperSearch has the potential to facilitate the monitoring of dynamic changes in viral genes and help humans keep up with the pace of virus mutations.
translated by 谷歌翻译
在许多纵向环境中,时间变化的协变量可能不会与响应同时测量,并且通常容易出现测量误差。幼稚的最后观察前向方法会产生估计偏差,现有的基于内核的方法的收敛速率缓慢和差异很大。为了应对这些挑战,我们提出了一种新的功能校准方法,以基于稀疏功能数据和测量误差的稀疏功能数据有效地学习纵向协变量。我们的方法来自功能性主成分分析,从观察到的异步和容易出现错误的协变量值中校准未观察到的同步协变量值,并广泛适用于异步纵向回归与时间传播或时间变化的系数。对于随时间不变系数的回归,我们的估计量是渐进的,无偏的,根-N一致的,并且渐近地正常。对于时变系数模型,我们的估计器具有最佳的变化系数收敛速率,而校准的渐近方差膨胀。在这两种情况下,我们的估计量都具有优于现有方法的渐近特性。拟议方法的可行性和可用性通过模拟和全国妇女健康研究的应用来验证,这是一项大规模的多站点纵向研究,对中年妇女健康。
translated by 谷歌翻译